python python 入门学习之网页数据爬虫cnbeta文章保存

需求驱动学习的动力。

因为我们单位上不了外网所以读新闻是那么的痛苦，试着自己抓取网页保存下来，然后离线阅读。今天抓取的是cnbeta科技新闻，抓取地址是http://m.cnbeta.com/wap/index.htm?page=1,咱们需要抓取的是前5页就行了。代码如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2,re,time,json
import sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf-8')
n=0
f = open('cnbeta.txt','a')
headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} 
mainurl="http://m.cnbeta.com/wap"

for i in range(1,5):
 add='http://m.cnbeta.com/wap/index.htm?page='+str(i)
 
 req = urllib2.Request(add, headers=headers) 
 wb=urllib2.urlopen(req).read()
 soup=BeautifulSoup(wb)

 file=open(str(i)+'cnbetamain.html','a')
 file.write(wb)
 elv1ment=soup.find_all('div',{'class':'list'})
 for elv in elv1ment:
  n=n+1
  url=elv.find('a',href=True).get('href')
  name=elv.find('a',href=True).get_text()
  print name + ','+'http://m.cnbeta.com'+url
  f.write(str(n)+','+name + ','+'http://m.cnbeta.com'+url+'\n')
  try:
   html =urllib2.urlopen(urllib2.Request('http://m.cnbeta.com'+url, headers=headers)).read()
   filename=name+'.html'
   file=open(filename,'a')
   file.write(html)
  except:
   print 'NOT FOUND'
  #print filename

  time.sleep(1)
f.close()
file.close()
print 'OVER'

首先需要抓取页面，循环地址，这个地方需要注意的是因为很多网站禁止机器访问所以需要headers，万能的

headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

拿到主页数据后需要找到此主页包含的文章及文章地址，用beautifulsoup访问处理html，beautifulsoup需要对网页进行分级处理，有head body div title href几种模式，这里需要用的是 div class="list" 。找到文章地址后打开url并保存到当前文件夹下面，名字用文章名命名。